Hoàng là con của bác sĩ Hoàng Gia Hội, lớp 1 của Dược sĩ do Chính phủ Pháp thành lập tại Hà Nội; Ông sinh ra trong một gia đình quý tộc. Ông đã kết hôn với bà. Khương Hữu Thị Võ – một gia đình giàu có và có tiếng là Khương Hữu tại Việt Nam, Pháp và Hoa Kỳ. Hoàng là anh rể của Hải quân cấp cao Nam Việt Nam "Cán bộ cờ" Khương Hữu Bá, giữ các vị trí Giám thị của Học viện Hải quân Nam Việt Nam và Tư lệnh Quân khu đặc nhiệm Quân khu 4 và Quân khu. Họ có một con gái Hoàng Thu Thủy (kết hôn với bác sĩ Tạ Minh Hiển – Canada)